쿠다로 짜던 뫄뫄뫄를 홀딩했다. 문제는 데이터 저장소다.
데이터가 하둡에 있다. 전금법 때문에 꺼내기가 애매하다. 수십 수백테라다.
꺼내다가 세월이 간다.
어쨌든 로컬에 꺼내야 한다는 점이 문제다.
병렬 GPU 연산시 대규모 데이터 처리는 어떻게 하는지 모르겠다.
아마도 고가용성 NAS류에 데이터를 덤핑해놓고 쓸 것 같다.
NAS가 고가용성이라 한들 GPU를 위해 덤핑해가는 비용은 매우 크다. 극단적으로 IO 때문에 GPU가 놀고 있을 수 있다.
쿠다 스트림을 멀티로 이용하면서 스트림으로 데이터를 넣고 빼는 전략을 취할테지만,
역시 IO가 문제다.
하던 일은 도로 스파크로 가야 할 것 같은데, 회사도 조직도 관심이 없고, 나 혼자 뭐하는가 싶다.
그러니 재미가 없... 헿헿헿